When are likely answers right? On Sequence Probability and Correctness in LLMs
何时高概率答案正确？LLM序列概率与正确性对齐研究
🧭 LLM解码概率与正确性对齐分析
Max Planck Institute for Intelligent Systems · ELLIS Institute Tübingen · AI Center Tübingen · University of Tübingen · IMPRS-IS
量化LLM解码中序列概率与正确性的对齐关系，发现仅在固定数据集内概率可预测正确性，调参或换方法无效
📌 工作参考价值（4 点）
- 电商推荐中使用LLM生成商品描述或推荐理由时，不要依赖调整温度、top-k等解码超参数来提升事实准确性，提高序列概率不一定带来正确性提升
- 构建基于LLM的推荐Agent时，若用生成概率作为置信度过滤候选动作，需注意只在固定解码配置下有效，改变采样策略会破坏概率与正确性的对齐
- 在自我一致性（self-consistency）投票中，序列概率加权可能无效，建议等权投票或引入外部验证器
- 对于同一提示的多次生成，概率不能可靠区分好坏，应避免用概率选择最佳回答，考虑其他校准方法